不够透明的“科学化”：拷问中国政治学研究“科学化”进程 | 学科发展

编者按

在2010年代，国际政治学界发起了一系列透明度运动，旨在提高政治科学研究的数据透明度和可复制性。在当下，几乎所有的国际顶级期刊都要求所有实证文章提供包含数据、代码及方法论解释的在线附录，并且研究结果的全面可复现。然而，这阵关于“透明度”风潮并没有吹进中国政治学界，以推动研究方法的科学化和透明化。一方面，我们看到在国内中文核心期刊有越来越多的政治学实证文章发表；另一方面，却没有看到建立具有普遍性的数据信息库和透明数据指南。

基于此，我们编译本文，希望借助对国外政治学研究数据透明度和可复制性的反思和借鉴，构建更为直观、整体且易访问的附录，以确保不同学术背景的研究者都能轻松利用这些资源进行复制研究，并深入探索相关背景信息。在此基础上，采用直观的格式、通用文件类型和易于导航的设计，整合所有组件以构成一个完整统一的知识体系，并呼吁期刊设定明确的标准和流程来支持高质量附录的创建与发布。

不够透明的“科学化”：拷问中国政治学研究“科学化”进程

（原标题为：我们能否做得更好？政治科学中的复制与在线附录，Can We Do Better? Replication and Online Appendices in Political Science）

左为Jonathan Grossman，右为Ami Pedahzur

作者：

Jonathan Grossman，Hebrew University of Jerusalem

Ami Pedahzur，The University of Texas at Austin

译者：

焦磊，山东大学

引文格式（MLA）：

Grossman, Jonathan, and Ami Pedahzur. “Can We Do Better? Replication and Online Appendices in Political Science.” Perspectives on Politics, vol. 19, no. 3, 2020, pp. 906–11.

内容提要

在政治科学领域，复制性研究正在逐渐受到重视，因为学科期刊越来越强调数据获取和研究透明度（data access and research transparency, DA-RT）的实践与政策。因此，如今几乎所有在顶级政治科学期刊上发表的文章都提供了在线附录，其中包含了进行复制所需的数据、代码以及方法论解释。尽管这些进展值得称赞，但许多附录仍无法实现令人满意的复制，原因在于它们难以访问、过于分散且难以理解。在这篇文章及其配套的在线附录中，我们展示了这一问题，并提出了建设更为易访问和全面的附录的理由，使其不仅能满足复制性要求，还能超越这一基本需求。我们提议作者和期刊可以从以下几个方面改进附录：使附录更具直观性、整体性和标准化，并选择合适的在线平台来创建和托管附录。

本文的数据复制集可在Harvard Dataverse 中找到：https://doi.org/10.7910/DVN/VXZZ0J；要查看本文的补充材料，请访问 http://dx.doi.org/10.1017/S1537592720001206；本文的动态在线附录位于：https://github.com/jonathan-grossman/Appendices。

政治学研究已步入透明化时代。鉴于社会科学领域的复制危机，越来越多的政治学期刊要求作者在发表时确保其研究成果完全可复现。理想情况下，每项基于证据的研究都应遵循复制标准，即读者应当拥有无需额外数据即可复现实验结果所需的所有信息（King, 1995, p.444）。

尽管我们可能永远无法完全实现这一复制性乌托邦（Gibson, 1995），但我们正朝着这个方向迈进——如今，在顶级政治科学期刊上几乎每一篇基于证据的文章都提供了方法论附录或可下载的复制数据存储库，甚至两者兼备。预计在未来几年内，会有越来越多的期刊采纳这些规范。然而，尽管可供下载的复制材料日益普遍，但这些指南很少能达到预期目标。常见问题包括缺乏复制所必需的关键要素，以及文件难以访问或组织混乱。这些问题往往阻碍了全面复制的实现。正如Arthur Lupia和Colin Elman（2014, p.22）强调的那样，开放性对于政治学内部不同子学科和方法论社群之间有效对话至关重要（请参阅在线附录注解1，以下简称“OAA #1”）。而可访问性和用户体验设计则是实现真正开放的前提条件，它们可以区分主要复制（学者能够完整复现实验全过程）和次要复制（仅涉及基于作者共享的数据和代码进行统计分析的复现）（OAA #2）。

在这篇文章中，我们提出了在政治科学领域提供可访问和透明复制数据的方法。我们采用整体性视角看待所有类型的数据（方法论解释、背景信息、图表、表格、构建的数据集、原始数据文件、软件语法等），认为它们都是一个统一且连贯的数字知识体系不可分割的部分，其中的不同组成部分相互关联，并与主文章对应。为了简洁和清晰起见，我们将这一生态体系称为在线附录。首先，我们回顾了当前政治科学领域的透明度现状。其次，我们展示了附录的不可访问性和难以理解性如何阻碍开放性和复制性。最后，我们讨论了可以改善附录影响力和可访问性的关键原则及最佳实践。

政治科学中的透明度追求

政治科学中的透明度运动在2010年代初达到了临界规模（Golder and Golder 2016, 2-5；Lupi and Elman 2014,19-21）。在这十年间，关于透明度的一系列正式与非正式讨论和审议在政治科学会议、委员会、期刊研讨会以及在线论坛上进行，产生了各种报告和建议，以及相关的批评意见（OAA #3）。该运动于2012年达到高潮，美国政治学会（APSA）道德指南经过修订，加入了由数据访问与研究透明度（DA-RT）倡议倡导者所提倡的透明原则。2014年，随着一批顶级政治学期刊编辑联合发布声明支持DA-RT，这一运动进一步获得了动力。此后，越来越多的文章中包含了“在线附录”、“复制文件”、“补充材料”、“在线注释”等类似术语，指代旨在实现结果复制的信息。

如今，基本要求作者公开用于定量分析的所有数据集以及复制所需的任何附加材料，如分析中使用的软件代码或解释变量编码方式的码本。此外，质性研究和混合方法研究者也被日益鼓励解释他们为何及如何选择和收集数据；详细说明通过何种分析路径得出结论；阐述每一条引用的原始或次级证据如何与其主张相关联；并在可能的情况下提供这些来源的访问权限（Elman, Kapiszewski, and Lupia 2018）。记录研究过程的一种方法是采用“主动引文”，即将特定论点链接到支撑其的源文献或这些源文献的部分摘录（Moravcsik 2014）。另一种经常与主动引文同时提及的技术是对主文章中的特定段落进行注解，即附加包含对高亮文本的额外信息的数字注释，类似于PDF文档中的评论（Karcher and Weber 2019）。

信息时代极大地促进了复制研究的便利性。在过去，大量原始数据的大规模数字化既困难又昂贵（Meier 1995, 459）。然而，最近的技术发展已经消除了这些障碍。得益于数字存储成本的大幅下降以及众多学术和非学术数据档案库的出现，研究人员和期刊现在可以免费或以较低的成本托管和分享原始和结构化的复制数据（Alvarez, Key, 和 Núñez 2018, 422. 参见OAA #4）。

在顶级政治学期刊中，共享定量复制数据实际上已成为一种常态。2016年，Ellen M. Key对六个领先学科期刊的DA-RT实践进行了考察，结论是样本中的超过三分之一的文章“并未提供公开可获取的复制材料”（Key 2016, 271）。我们以Key的文章为基础，查阅了这些期刊2019年秋季刊所发表的97篇文章。表1展示了研究结果的摘要。正如我们在在线附录中记录的那样，唯一没有附录的是五篇不依赖实证数据的政治理论研究（关于数据、方法和结果，请参阅在线附录）。因此，几乎现今在一流政治科学期刊上发表的所有基于证据的文章都提供了某种类型的附录。当附录包含复制数据集时（N=79），大多数情况下数据集同时包含了数据和代码（76例）。

表1，点击查看大图

不幸的是，提供复制数据并不等同于具有可复制性。例如，包含数据并不能确保研究人员知道如何使用它们。许多附录高度模块化——在我们的分析中，74篇文章既包括文本文档又包括一个复制数据仓库。在这74篇文章中，只有6篇通过超链接引用了后者。在所有其他情况下，为了复制分析，人们需要找到、访问并从至少三个不同的网络地址下载文件：主文章、文本文档和复制数据仓库。

浏览附录的不同部分同样颇具挑战。在我们分析的86份文本文档中，只有33份包含指向具体页码的目录；而在8个案例中，完全没有页码。在79个复制数据集中，只有47个包含了一个README文件，列出数据仓库的内容或解释变量编码方式的码本。许多此类文档简明扼要，充斥着技术术语（OAA #5），并且缺乏关于数据收集、编码和分析决策及困境的关键信息，这对于复制至关重要。打开复制文件常常需要特定的软件包，而这些软件包可能并非免费可下载或广泛使用（参见Alvarez, Key, and Núñez 2018, 423）。

因此，一方面，当前大多数在线附录在形式上满足了可复制性要求。它们旨在供阅读文章的一小部分人参考——这群人是与作者具有相同研究领域、方法学倾向和计算机技能的学者专家群体，因此能够利用附录中的信息来复制研究结果。这种获取方式是复制运动值得称赞的一项成就，其重要性无论如何强调都不过分。另一方面，该领域必须建立最佳实践，以朝着完全可复制性努力。附录有可能变得对更广大研究人员群体相关，这些人可能从附录中的信息中受益，但由于不太可能投入必要的时间和资源去解读它们，所以目前未能充分利用。为此，我们必须改变我们对附录的认知方式。

复制与超越：为何我们需要（并值得拥有）易访问的附录

使我们的学术研究更加清晰并不意味着我们需要“简化”我们的论点和方法论解释，或放弃严谨性；学术质量与可访问性并非互斥（Flinders, 2015, 75；OAA #6）。相反，我们应努力创建既全面又清晰的附录，使得本领域内的专家在尝试复制我们的研究时能够轻松理解和查阅。

此外，虽然满足复制标准是在线附录存在的根本原因，但其对学术贡献的潜力远不止于可复制性。理论上，附录长度不限，并且在数据可视化、互动性和音频视频材料使用方面，比已发表的文章更强大、更具灵活性。这些特性使得附录成为展示那些无法通过印刷文章来有力、有说服力地表达的观点的强大媒介，无论是由于遵循学术出版的传统形式要求，还是因为它们需要额外的文本外媒体支持。在这方面，我们可以借鉴蓬勃发展的数据新闻学领域的实践者，他们创造出优美动画或交互式观点可视化呈现（Hahn and Stalph, 2018）。虽然这种数据叙事在转化为传统文本形式后影响力会减弱，但数字附录却是展示它的理想媒介。

此外，在线附录可以提高我们研究的“理解性和说服力”（Lupia and Elman, 2014, 22）。正如Paul Musgrave和Sebastian Karcher关于在线注解所指出的那样，附录的独特特征可以帮助我们“展现研究深度”，并“让读者更容易超越文章本身”（Musgrave 和 Karcher, 2018；OAA #7）。附录是一个绝佳平台，可以通过它为读者提供历史、文化和社会背景信息，这对于基于证据的研究至关重要，包括定量导向的作品（Lieberman, 2010）。例如，附录可以提供一个带有超链接引用的参考书目部分，指向文中未直接引用但能为所研究主题提供更多见解的来源（或者在适用的情况下，提供全文）；也可以包含比正文更为详尽的背景信息部分；或者结构化的时间线和相关事件编年史，这对于历史导向分析往往至关重要（参见Ricks and Liu, 2018年的附录为例）。附录中的特定词汇和句子可以包含指向诸如维基百科条目或开放获取文章等资源的超链接，以便了解关键术语、行为体和事件（参阅Dunleavy, Park and Taylor, 2018 的示例；OAA #8）。

附录也为我们提供了进行更动态研究的机会。基于传统的学术期刊模式，一篇文章在发表时即视为定稿。要修正错误、添加评论、变量或观察结果至分析中，必须再发表另一篇文章，如评论、后续研究、勘误、致编辑信、博客文章等等。而动态在线附录将允许作者或期刊以透明和时间戳的方式整合这些贡献，跟踪并展示对附录的更改，同时保留文章原文内容。

如何创建更好的在线附录

政治科学是一门多元化学科，拥有多种研究传统，因此在准备附录时需要灵活处理。附录中包含的数据类型多样，从实物照片和古代手稿，到反思性田野笔记和访谈录音，再到软件语法和输出结果（OAA #9）。尽管这种多样性意味着不同研究方法产生的附录可能看起来大相径庭，但它们的核心目的是一致的：每个附录都应允许编辑、审稿人和读者追踪作者的研究步骤，复制其工作，并深入探索其他有用或有趣的信息。为了实现这些目标，作者和期刊都需要采取行动（参见Ishiyama 2014；OAA #10）。作者应当创建直观且整合良好的附录，而期刊则应审查附录以确保它们满足基本要求，并提供合适的平台来托管这些附录。在本节中，我们将提出附录开发的原则，随后为期刊和作者实施这些原则提供最佳实践建议。

追求直观性（intuitiveness）意味着附录应以读者为中心而非作者中心。即使不熟悉作者的方法论或专业领域，一个政治科学家也应当能够轻松浏览附录，访问文件，并理解文件的本质、用途以及打开它们所需的软件类型（OAA #11）。我们应尽量使用可以免费软件打开的通用文件格式，例如PDF、TXT或RTF扩展名用于文本文档，CSV文件用于结构化数据。需要专门软件打开的文件应与更常见文件类型一同上传，而不是替代它们（OAA #12）。读者应当能够单独访问单个文件，而非必须下载整个存储库（通常被压缩成一个非常大的文件）。文本文档应具有目录、页码和章节标题；图和表应嵌入其中，而非单独上传。

完整性（Integrity）要求作者将附录的所有部分以及主文章视为单一、全面知识体系的组成部分。目前“补充信息”和“复制数据”作为彼此分离的两个实体的情况，在复制性方面是不可接受的。为了使这个知识体系正常运作，其各个部分应通过引用和超链接无缝地相互沟通。为了确保完整性，每个附录都应该有一个“锚点”——一个网页或文本文档作为整个附录的路线图。如同文本文档中的目录或数据仓库中的README文件，该页面应采用清晰的语言，并链接至附录中的每一个部分或文件（Alvarez, Key,  and Núñez 2018, 424；OAA #13）。

为了在附录中实施完整性与直观性原则，每个期刊都需要采纳一些关于作者创建、存储、展示和格式化其附录的标准（OAA #14）。这看似违背直觉，毕竟附录本应允许作者摆脱期刊对作者施加的僵化且有时武断的形式主义束缚。然而，这种自由不应以牺牲可访问性和全面性为代价。由于当前在线附录设计的折衷性和独特性（这与文章相对规范化的结构形成对比），理解每个附录的内在逻辑成为一项繁重的任务，很少有研究者愿意承担。

为了解决这个问题，期刊投稿指南应该明确说明，为了使文章得以发表，附录中应包含哪些内容，这些内容需符合期刊所在领域的普遍规范以及文章中的数据类型和研究方法。例如，一篇涉及结构化数据分析的文章的附录应包括研究各个阶段的详细路线图、被分析的数据、码本和分析脚本——即进行统计分析所使用的代码或语法。质性研究附录的作者应描述其选择来源的过程、方法论和分析选择以及检验过的假设（包括被拒绝的假设）。他们还应当努力让读者接触到原始数据——导致其结论形成的文件、录音访谈以及其他来源或部分资料，只要这些材料在法律和伦理上可以分享（参见Moravcsik 2014, 686；Tripp 2018；OAA #15）。虽然一些期刊已经制定了较为详细的创建附录指导，但这些标准需要得到更好的执行和更广泛的应用（OAA #16）。

最后，期刊编辑应当解决平台问题，即附录应存放在何处以及如何托管。最合适的发布渠道包括期刊网站、内容管理系统和版本控制系统。所有这些平台都涉及一定的权衡，在接下来的内容中我们将针对每一种逐一识别。

期刊网站（Journal websites）。用于在线发表文章的期刊网站是附录的自然选择。这些网站的界面通常直观易懂。然而，为了创建和维护这样的附录，出版商和编辑需要分配大量资源给指定的专业人员，负责审核作者提供的材料，根据各期刊风格重新格式化，并通过链接文章每一部分与对应附录部分确保完整性，上传并维护它们。鉴于这一过程高昂的成本，期刊可能无法自行承担附录维护工作（OAA #17）。

内容管理系统（Content management systems, CMS）。这包括博客、维基以及诸如WordPress或Google Sites等平台。CMS为作者提供了直观且灵活的图形用户界面环境，以便创建动态附录并在必要时修改其内容。尽管如此，使用CMS的期刊，尤其是那些不托管在出版商服务器上的期刊，会将附录维护的责任委托给作者。编辑只能在发布前验证附录的存在及其是否符合期刊要求。一旦文章发表，几乎不可能强制作者保持附录可访问并及时更新（#OAA 18）。

版本控制系统（Version control systems, VCS）。神经科学家及研究科学家Patrick Beukema最近提出，借鉴软件行业的核心原则来解决科学复制问题。对于政治科学而言，这种应用并非乍看之下那么牵强：按照Harold Lasswell（1950年）的观点，政治过程决定了“谁在何时得到什么”，而版本控制则可以帮助研究人员确定“谁在何时做了什么”（Beukema 2018）。

像GitHub或开放科学框架（Open Science Framework, OSF）这样的VCS是动态的工作日志。每当项目发生变化时，它们会记录或拍摄项目的“快照”，并允许跨时间进行比较。每一步操作——如上传新文件或更改现有代码行——都会促使创建者添加文本解释，该解释会被记录和时间戳标记。此外，VCS是一种高度动态的工具，旨在识别和纠正编码错误；因此，它们为复制和修订提供了一个透明的出口：学者可以下载数据，修正其中的错误，添加新的变量或观测值，并提议作者将修改后的数据集合并到现有数据集中。为了展示VCS的潜力，我们以本篇文章的附录（包括在线注解、方法论解释和复制材料）为例，既作为GitHub附录又作为一个传统的PDF文档提供。然而，尽管有这些优点，在现阶段，VCS主要由经验丰富的程序员团队使用。它们并不直观，可能会让许多缺乏技术技能的作者和读者感到沮丧。

认识到这些优点和缺点，期刊必须选择或寻找更加注重直观性的平台，以满足读者、投稿者和编辑的需求。

结论

从某种意义上说，政治科学中的复制工作从未像现在这样做得如此之好。在该学科的顶级期刊中，近期绝大多数文章都提供了包含文本文档、数据文件和软件语法的在线附录，在理论上足以用于复制文章的分析内容。然而，在许多情况下，由于附录分散、不直观且难以访问，完全复制尚未变得切实可行。

如今，在广义上已达到复制标准的情况下，政治科学家应当着手创建连贯、易理解且整合良好的在线附录。这样的附录不仅能确保更完整和更好的复制性，还可能使更多学者能够接触并理解文章，从而提升其整体影响力。为了实现这一目标，学术界首先需要确立关于附录应如何呈现以及存储位置的最低标准。同样重要的是，我们应该激励作者、期刊和出版商遵循这些标准。我们相信，解决这些挑战及其解决方案将成为政治科学领域追求透明度和可复制性的下一个阶段。

（因篇幅所限，参考文献从略）

〇 编辑、排版：焦磊

〇 审校：郭瑞涵  大兰